Sau khi mẹ mất, cha Dean gửi anh tới sống cùng cô và chú ở Indiana, do đó anh lớn lên mà không có tình thương của cha. Dù sau này trong thời gian ở California, anh có sống chung với cha và mẹ kế, nhưng có vẻ ông không muốn nhìn thấy mặt anh.[41] Quan hệ cha con trở nên tồi tệ hơn khi tài tử Hollywood chuyển chuyên ngành sang kịch, và cuối cùng bỏ học để theo đuổi sự nghiệp điện ảnh, điều mà người cha phản đối kịch liệt.[17] Chính vì lẽ đó, bạn bè và đồng nghiệp đều nhận thấy Dean thật sự muốn có được tình yêu và sự công nhận từ cha mình, điều mà khán giả có thể cảm nhận qua hai vai diễn trong phim East of Eden và Rebel Without a Cause đều là những cậu thanh niên có trăn trở và cảm xúc khá giống với con người thật của anh.[42] Kể cả sau khi Dean qua đời và trở thành huyền thoại của Hollywood, người cha vẫn không muốn nhắc đến đứa con của mình.[43]

Biên kịch William Bast là một người bạn thân thiết của Dean, ông là bạn cùng phòng với tài tử Hollywood khi học ở UCLA và sau này cùng anh chuyển tới sống ở New York.[44] Bast cũng là tác giả đầu tiên viết về cuộc đời James Dean sau khi anh tử nạn năm 1955.[45] Sau khi hoàn thành bộ phim East of Eden, Dean kết thân với nhiếp ảnh gia Dennis Stock của tạp chí Life, người chụp những bức ảnh nổi tiếng về cuộc sống của nam diễn viên trong thời gian ở New York và Fairmount, Indiana.[46] Tình bạn của hai người được khắc họa qua bộ phim Life năm 2015, do Robert Pattinson và Dane DeHaan thủ vai.[47]

Trong thời gian học ở UCLA, Dean hẹn hò với một nữ diễn viên cho đài CBS tên Beverly Wills. Hai người chia tay vì anh "bùng lên cơn ghen" khi một người đàn ông khác mời cô cùng khiêu vũ ở một bữa tiệc.[48] Khi chuyển đến New York, anh có mối quan hệ với một nữ diễn viên tên Barbara Glenn trong vòng hai năm. Lá thư tình của Dean cho bạn gái được đấu giá năm 2011 với giá 36.000 đô la Mỹ.[49] Trong những năm đầu sự nghiệp điện ảnh, sau khi ký kết hợp đồng với Warner Bros., hãng phim bắt đầu tung tin hẹn hò của Dean với một loạt các nữ diễn viên trẻ qua sự mai mối của một quản lý tại Hollywood tên Dick Clayton.[50] Mối tình được biết tới nhiều nhất của tài tử Hollywood là với nữ diễn viên người Ý Pier Angeli. Hai người biết nhau khi cô đang quay phim The Silver Chalice tại một phim trường của Warner Bros. Anh tỏ tình cô bằng cách gửi cô những món trang sức đắt tiền. Theo lời Angeli, hai người có một tình yêu nồng nhiệt: "Chúng tôi thường trốn khỏi cánh nhà báo tới bờ biển California và dành thời gian ở đó, đùa giỡn như hai đứa trẻ [...] Chúng tôi giống như Romeo và Juliet, luôn cùng nhau và không thể lìa nhau."[51]

Mặc dù mối tình của họ được báo chí quan tâm, họ không hưởng hạnh phúc trọn vẹn vì sự phản đối từ mẹ của Angeli. Bà không chấp nhận những hành động hoang dại của Dean: trang phục luộm thuộm, hay trễ giờ và sở thích đua xe. Ngoài ra lý do tôn giáo cũng khiến bà phản đối Dean vì anh không theo Công giáo.[52] Dù nam diễn viên rất muốn kết hôn với Angeli và sẵn sàng cho phép con của họ theo Công giáo, hãng phim Warner Bros. thuyết phục anh từ bỏ ý định kết hôn, sau này chính Dean cũng tự mình chấm dứt mối quan hệ với Angeli.[53] Sau khi hoàn thành phim East of Eden, tài tử Hollywood du lịch ngắn ngày đến New York tháng 10 năm 1954.[52] Trong thời gian đó, Angeli bất ngờ thông báo hôn nhân của mình với ca sĩ người Mỹ gốc Ý Vic Damone. Giới báo chí bị một phen bất ngờ, và Dean trở nên tức giận.[54] Một tháng sau, Angeli và Damone kết hôn. Có tin đồn Dean đã tới hôn lễ và đứng nhìn từ phía bên kia đường trên chiếc mô tô, và đôi lúc nhấn ga gây ồn; bản thân anh phủ nhận tin đồn "ngu ngốc" đó.[52] Nhiều người cho rằng mối tình của Dean với Angeli chỉ là một chiêu trò thu hút dư luận, trong đó có cả bạn thân William Bast.[55][56] Nhiều nhân chứng lại phản đối ý kiến này, cho rằng hai người họ thật sự yêu nhau nồng nhiệt. Có người kể rằng sau khi Dean biết tin Angeli mang thai, anh đã khóc nức nở và luôn miệng cho rằng đó là đứa con của anh.[57] Sau hai cuộc hôn nhân đổ vỡ, Angeli thổ lộ với bạn bè của mình rằng Dean là "mối tình của cả đời cô".[42]

Xu hướng tình dục của Dean cũng là một chủ đề mà giới báo chí quan tâm. Khi được hỏi về xu hướng tình dục của mình, anh trả lời: "Không, tôi không đồng tính. Nhưng tôi cũng sẽ không thể không thử trước khi tôi qua đời."[58] Bạn thân Bast của anh tiết lộ rằng họ từng một lần "trải nghiệm" với nhau, nhưng không giải thích rõ.[59] Nhà báo Joe Hyams cho rằng tài tử Hollywood có thể có quan hệ với những người cùng giới, nhưng cho rằng đó đều là "hành động thương mại" nhằm phục vụ cho thăng tiến sự nghiệp. Tuy nhiên, nhiều người phản đối ý kiến này, bao gồm bạn thân lâu năm Bast.[60] Bạn cùng đua mô tô với Dean, John Gilmore, khẳng định rằng hai người bọn họ đã "trải nghiệm" quan hệ tình dục đồng tính nhiều lần với nhau khi ở New York, miêu tả những lần trải nghiệm ấy là "những chàng trai hư hỏng (bad boys) chơi với nhau và bộc lộ những khía cạnh song tính của nhau."[61] James Bellah, bạn cùng học với nam diễn viên ở UCLA nói rằng "Tôi không nghĩ anh ấy đồng tính. Nhưng nếu như anh ấy cảm thấy có lợi từ việc đó thì..."[62] Một vài đồng nghiệp cho rằng Dean là người đồng tính nam, bao gồm đạo diễn Rebel Without a Cause Nicholas Ray[63] và bạn diễn Elizabeth Taylor trong phim Giant.[64] Một số các nhà báo cho rằng Dean hoặc là người song tính,[55] hoặc là người toàn tính, và những lần quan hệ đồng tính đều nhằm mục đích phục vụ cho thăng tiến sự nghiệp chứ không nhất thiết là xu hướng tình dục của nam minh tinh.[65]